深入学习模型的压缩在将这些模型部署到边缘设备方面具有根本重要性。在压缩期间,在压缩期间结合硬件模型和应用限制可以最大限度地提高优势,但使其专为一种情况而设计。因此,压缩需要自动化。搜索最佳压缩方法参数被认为是一个优化问题。本文介绍了一种多目标硬件感知量化(MohaQ)方法,其将硬件效率和推理误差视为混合精度量化的目标。该方法通过依赖于两个步骤,在很大的搜索空间中评估候选解决方案。首先,应用训练后量化以进行快速解决方案评估。其次,我们提出了一个名为“基于信标的搜索”的搜索技术,仅在搜索空间中重新选出所选解决方案,并将其用作信标以了解刷新对其他解决方案的影响。为了评估优化潜力,我们使用Timit DataSet选择语音识别模型。该模型基于简单的复发单元(SRU),由于其相当大的加速在其他复发单元上。我们应用了我们在两个平台上运行的方法:SILAGO和BETFUSION。实验评估表明,SRU通过训练后量化可以压缩高达8倍,而误差的任何显着增加,误差只有1.5个百分点增加。在Silago上,唯一的搜索发现解决方案分别实现了最大可能加速和节能的80 \%和64 \%,错误的误差增加了0.5个百分点。在BETFUSION上,对于小SRAM尺寸的约束,基于信标的搜索将推断搜索的错误增益减少4个百分点,并且与BitFusion基线相比,可能的达到的加速度增加到47倍。
translated by 谷歌翻译
Recent works have shown that unstructured text (documents) from online sources can serve as useful auxiliary information for zero-shot image classification. However, these methods require access to a high-quality source like Wikipedia and are limited to a single source of information. Large Language Models (LLM) trained on web-scale text show impressive abilities to repurpose their learned knowledge for a multitude of tasks. In this work, we provide a novel perspective on using an LLM to provide text supervision for a zero-shot image classification model. The LLM is provided with a few text descriptions from different annotators as examples. The LLM is conditioned on these examples to generate multiple text descriptions for each class(referred to as views). Our proposed model, I2MVFormer, learns multi-view semantic embeddings for zero-shot image classification with these class views. We show that each text view of a class provides complementary information allowing a model to learn a highly discriminative class embedding. Moreover, we show that I2MVFormer is better at consuming the multi-view text supervision from LLM compared to baseline models. I2MVFormer establishes a new state-of-the-art on three public benchmark datasets for zero-shot image classification with unsupervised semantic embeddings.
translated by 谷歌翻译
跨域多式分类是一个具有挑战性的问题,要求快速域适应以处理在永无止境和快速变化的环境中的不同但相关的流。尽管现有的多式分类器在目标流中没有标记的样品,但它们仍然会产生昂贵的标签成本,因为它们需要完全标记的源流样品。本文旨在攻击跨域多发行分类问题中极端标签短缺问题的问题,在过程运行之前,仅提供了很少的标记源流样品。我们的解决方案,即从部分地面真理(Leopard)中学习的流流过程,建立在一个灵活的深度聚类网络上,在该网络中,其隐藏的节点,层和簇被添加并在不同的数据分布方面动态删除。同时的特征学习和聚类技术为群集友好的潜在空间提供了同时的特征学习和聚类技术的基础。域的适应策略依赖于对抗域的适应技术,在该技术中,训练特征提取器以欺骗域分类器对源和目标流进行分类。我们的数值研究证明了豹子的功效,在24例中,与突出算法相比,它可以提高性能的改善。豹子的源代码在\ url {https://github.com/wengweng001/leopard.git}中共享。
translated by 谷歌翻译
信息安全团队通常会使用网络蜜饯来测量威胁格局以确保其网络。随着Honeypot开发的发展,当今的中型相互作用的蜜罐为安全团队和研究人员提供了一种部署这些主动防御工具的方式,这些工具几乎不需要维护各种协议。在这项工作中,我们在公共Internet上的五个不同协议上部署了此类蜜罐,并研究了我们观察到的攻击的意图和复杂性。然后,我们使用获得的信息来开发一种聚类方法,该方法可以识别攻击者行为中的相关性,以发现很可能由单个操作员控制的IP,这说明了将这些蜜罐用于数据收集的优势。
translated by 谷歌翻译
机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习(ML)实例化遭受了复杂的整合,缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式,用于将传感器智能嵌入边缘设备上,以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统,并提供一个薄的界面,以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战,以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性,同时使系统构建者更容易将ML集成到其产品中,以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子,以表现出来,并希望这将建立对话使我们朝着传感器2.0迈进。
translated by 谷歌翻译
受益于扩大云基础设施,今天深度神经网络(DNN)在云中培训时具有越来越高的性能。研究人员花了几个月的努力,竞争额外的模型精度百分比。但是,当这些模型实际上在实践中部署在边缘设备上时,通常情况可能会突然下降超过10%而无明显原因。关键挑战是,在边缘设备上对ML推理执行并不多的可见性,并且在边缘部署过程中对潜在问题的认识很少。我们呈现ml-exray,一个端到端的框架,它提供了ML执行的层级细节的可见性,并帮助开发人员分析和调试云到边缘部署问题。更常见的是,子最佳边缘性能的原因不仅可以在模型本身中介绍,而是在整个数据流和部署过程中的每一个操作。评估显示ML-EXRARE可以有效地捕获部署问题,例如使用ML-EXRARE的预处理错误,量化问题,次优内核等,用户需要写入不到15行代码以完全检查边缘部署管道。消除这些问题,ML-EXRARE可以通过最多30%的模型性能,Pinpoint忽略层,指导用户通过两个数量级来优化内核执行延迟。代码和API将被释放为开源多语言仪表库和Python部署验证库。
translated by 谷歌翻译